Deep Learning

Anwendungen

Deep Learning

Anwendungen

  • Computer Vision: Klassifizierung, Objekterkennung, Bildgenerierung
     

  • Natural Language Processing: Übersetzungen, Chatbots
     

  • Reinforcement Learning: Gaming, Robotik, Automatisierung
     

  • Zeitreihenanalyse: Markt- & Wetterprognosen, Anomalieerkennung
     

  • Explainable AI: Transparenz, Vertrauen, Sicherheit
     

Deep Learning

Anwendungen

  • Computer Vision: Klassifizierung, Objekterkennung, Bildgenerierung
     

Deep Learning

Computer Vision

Convolutional Neural Network (CNN)

Findet Strukturen

Deep Learning

Computer Vision

Convolutional Neural Network (CNN)

Klassifiziert durch Strukturen

Deep Learning

Generative Modelle

Erstellen neue Daten wie Trainingsdaten

aus Zufalls-zahlen

Varational Autoencoder

Generative Adversarial Network

Deep Learning

Varational Autoencoder

  • Entfernt schrittweise Rauschen (Noise)
    um darunter liegendes Bild zu enthüllen
     
  • kann aus reinem Rauschen neue Bilder generieren

Deep Learning

Anwendungen

  • Computer Vision: Klassifizierung, Objekterkennung, Bildgenerierung
     

  • Natural Language Processing: Übersetzungen, Chatbots
     

  • Reinforcement Learning: Gaming, Robotik, Automatisierung
     

  • Zeitreihenanalyse: Markt- & Wetterprognosen, Anomalieerkennung
     

  • Explainable AI: Transparenz, Vertrauen, Sicherheit
     

Deep Learning

Anwendungen

  • Natural Language Processing: Übersetzungen, Chatbots
     

Deep Learning

Natural Language Processing

Sprachverarbeitung Wort für Wort

 

 

 

 

Wie in Kontext setzen?

RNN

Deep Learning

Natural Language Processing

Recurrent Neural Network (RNN)

Liest Satz Wort für Wort

 

 

Selbe Weights für jedes Wort

Deep Learning

Natural Language Processing

Liest Satz Wort für Wort

 

keine Parallelisierung

Deep Learning

Natural Language Processing

Transformer

Transformiert Sequenz zu neuer Sequenz

Deep Learning

Natural Language Processing

Attention layer lernt Kontext

als Stärke der Beziehung von Wörtern

Transformer

Deep Learning

Natural Language Processing

Transformer

Stacks von Encodern / Decodern

Erlaubt Parallelisierung

Deep Learning

Natural Language Processing

Transformer

  • Autovervollständigung
  • Übersetzung
  • Chatbots

Deep Learning

Anwendungen

  • Computer Vision: Klassifizierung, Objekterkennung, Bildgenerierung
     

  • Natural Language Processing: Übersetzungen, Chatbots
     

  • Reinforcement Learning: Gaming, Robotik, Automatisierung
     

  • Zeitreihenanalyse: Markt- & Wetterprognosen, Anomalieerkennung
     

  • Explainable AI: Transparenz, Vertrauen, Sicherheit
     

Deep Learning

Anwendungen

  • Reinforcement Learning: Gaming, Robotik, Automatisierung
     

Deep Learning

Reinforcement Learning

Findet versprechendste Aktion in beliebigem Zustand

Deep Learning

Reinforcement Learning

Hin und wieder neues ausprobieren

-> auf Veränderung reagieren

Deep Learning

Reinforcement Learning

Hin und wieder neues ausprobieren

-> auf Veränderung reagieren

Es ist gut Fehler zu machen!

Deep Learning

Reinforcement Learning

Früher: Tabelle

 

 

 

 

Heute:

Neuronales Netz

Deep Learning

Anwendungen

  • Computer Vision: Klassifizierung, Objekterkennung, Bildgenerierung
     

  • Natural Language Processing: Übersetzungen, Chatbots
     

  • Reinforcement Learning: Gaming, Robotik, Automatisierung
     

  • Zeitreihenanalyse: Markt- & Wetterprognosen, Anomalieerkennung
     

  • Explainable AI: Transparenz, Vertrauen, Sicherheit
     

Deep Learning

Anwendungen

  • Zeitreihenanalyse: Markt- & Wetterprognosen, Anomalieerkennung
     

Deep Learning

Layer

Deep Learning

Layer

Fully Connected (Dense)
Alle Neuronen verbunden
Lineare Approximation
Merkmale -> Klassifizierung
Viele lernbare Parameter (In x Out)
Hoher Rechenaufwand

Deep Learning

Layer

Fully Connected (Dense) Pooling (Pool)
Alle Neuronen verbunden Filtert informationen
Lineare Approximation Grössenreduktion
Merkmale -> Klassifizierung Robustere Modelle
Viele lernbare Parameter (In x Out) Keine Lernparameter
Hoher Rechenaufwand Geringer Rechenaufwand

Deep Learning

Layer

Fully Connected (Dense) Pooling (Pool) Convolutional (Conv)
Alle Neuronen verbunden Filtert informationen Gelernter Filter gleiteit über Daten
Lineare Approximation Grössenreduktion Extrahiert lokale Merkmale
Merkmale -> Klassifizierung Robustere Modelle Mustererkennung
Viele lernbare Parameter (In x Out) Keine Lernparameter wenige lernbare Parameter
Hoher Rechenaufwand Geringer Rechenaufwand Geringer Rechenaufwand

Deep Learning

Layer - Typische Anordnung

Convolutional (Conv) Pooling (Pool) Fully Connected (Dense)
Extrahiert lokale Merkmale Filtert informationen Merkmale -> Klassifizierung
wenige lernbare Parameter Robustere Modelle

Effizienteres Modell,    Translationsinvariant,     Bessere Generalisierung

 (weniger Parameter)   (scant nach Features)     (=> geringeres Overfitting)

Layer

Hands-On: TensorFlow CIFAR-10

Starten Sie mit diesem Notebook

 

  • Klasifizieren Sie den CIFAR-100
     
  • Vergleichen Sie verschiedene Regularisationsmethoden an CNN
     
  • Führen Sie ein Hyperparametertuning durch

 

Die Lösung finden Sie in diesem Notebook